如今，隨著每個(gè)人都生活在網(wǎng)上，在線渠道的網(wǎng)絡(luò)流量正在激增。但是，如果您深入研究流量，您會發(fā)現(xiàn)大部分流量并非來自合法用戶。只有不到一半的流量是真正的人類，其余的是機(jī)器人，包括好機(jī)器人和壞機(jī)器人。

在早期，機(jī)器人僅用于垃圾郵件或小型抓取嘗試。如今，機(jī)器人操作員正在大規(guī)模利用自動化來執(zhí)行惡意活動。此類活動包括接管用戶帳戶、濫用 API、執(zhí)行 DDoS 攻擊、抓取獨(dú)特的定價(jià)信息、競爭性數(shù)據(jù)挖掘、網(wǎng)絡(luò)抓取、數(shù)字欺詐、金融數(shù)據(jù)收集、交易欺詐、暴力登錄等等。

盡管影響嚴(yán)重，但組織是否采用了有效的機(jī)器人管理方法？答案是不。許多企業(yè)仍在嘗試使用傳統(tǒng)解決方案來阻止機(jī)器人程序，從而將安全置于風(fēng)險(xiǎn)之中。那么，為什么傳統(tǒng)的 WAF緩解爬蟲程序會失敗呢？讓我們來看看 WAF 在 bot 管理中失敗的原因以及高級 WAF 保護(hù)的好處。

為什么傳統(tǒng)的WAF保護(hù)不足？

要了解高級 WAF 對機(jī)器人檢測和緩解的重要性，讓我們探討企業(yè)為阻止機(jī)器人攻擊而采取的常見安全措施以及它們?yōu)楹螣o效。

• 代碼級安全性——這種做法在開發(fā)的初始階段實(shí)施安全性，而不是在生命周期結(jié)束時(shí)后悔。但是，這種基本的安全級別不足以阻止當(dāng)今不斷發(fā)展的機(jī)器人，因?yàn)樗鼈兺昝赖啬７铝巳祟愑脩?。這種做法也缺乏針對機(jī)器人模式的欺詐情報(bào)的能力。
• 傳統(tǒng)的 IP 封鎖——如果一家公司想要封鎖其網(wǎng)站的一部分流量，IP 封鎖是最有效的方法之一。隨著欺詐模式的不斷演變，這種方法并不適用于所有場景。阻止 IP 有時(shí)最終可能會阻止使用該 IP 的合法用戶。
• 傳統(tǒng) Web 應(yīng)用程序防火墻– WAF 主要用于保護(hù)網(wǎng)站和 Web 應(yīng)用程序免受 SQL 注入、XSS（跨站點(diǎn)腳本）、會話劫持、跨站點(diǎn)請求偽造和其他 Web 攻擊等攻擊。大部分Web應(yīng)用防火墻無法適應(yīng)用戶配置文件和應(yīng)用程序的變化，不斷變化。

盡管下一代防火墻 (NGFW) 聲稱可以感知應(yīng)用程序，但它們?nèi)匀灰蕾囉诨镜?bot 緩解功能，例如阻止 IP、用戶生成重復(fù)請求或?qū)g覽器進(jìn)行指紋識別。他們檢查了有效載荷的前幾個(gè)字節(jié)，因此，使用現(xiàn)代技術(shù)的下一代機(jī)器人仍未被發(fā)現(xiàn)。

WAF 技術(shù)經(jīng)歷了幾項(xiàng)改進(jìn)，但它依賴于基于過濾器的方法來檢測已證明不足以阻止機(jī)器人和其他自動威脅的惡意負(fù)載。

此外，管理具有操作復(fù)雜性的 WAF 策略已導(dǎo)致一些公司使 Web 應(yīng)用程序不受保護(hù)。在某些情況下，由于目標(biāo)企業(yè)無法足夠快地修補(bǔ)漏洞，因此利用了一個(gè)已知漏洞。

結(jié)合這些挑戰(zhàn)，機(jī)器人的輕松可用性和自動化技術(shù)的創(chuàng)新使得機(jī)器人檢測和緩解變得更加困難。

為了部署有效的爬蟲程序管理和保護(hù)，組織需要 Web 應(yīng)用程序防火墻技術(shù)，該技術(shù)可以自動發(fā)展和微調(diào)自身以檢測最復(fù)雜的爬蟲程序并提供持續(xù)的安全性。好消息是，像 AppTrana 這樣的高級 WAF 采用了有效的措施來檢測和阻止不斷發(fā)展的僵尸網(wǎng)絡(luò)。

爬蟲程序管理中高級 WAF 保護(hù)的優(yōu)勢

在高級 WAF 保護(hù)的情況下，WAF 技術(shù)與行為分析相結(jié)合，可檢測惡意機(jī)器人活動，無需人工干預(yù)即可更輕松地發(fā)現(xiàn)機(jī)器人流量。

Advanced WAF 的 Bot 檢測包括以下組件：

• 機(jī)器人緩解的自定義規(guī)則
• 根據(jù)過去流量的行為發(fā)現(xiàn)機(jī)器人并阻止它們
• 接近零誤報(bào)，從而確保合法流量不被阻塞

通過主動機(jī)器人防御，高級 WAF 可以跟蹤 IP 地址以外的攻擊者，檢測用戶的性質(zhì)并將合法機(jī)器人與惡意機(jī)器人區(qū)分開來。它還消除了與 CAPTCHA 挑戰(zhàn)相關(guān)的 UX（用戶體驗(yàn)）的影響。

除了阻止攻擊的開箱即用的完全托管的 WAF 功能外，公司還可以創(chuàng)建自己的自定義策略和規(guī)則來阻止他們正在接收或擔(dān)心可能會收到的機(jī)器人攻擊。

例如，如果在短時(shí)間內(nèi)從同一 IP 發(fā)出重復(fù)請求，則可以制定規(guī)則來阻止訪問網(wǎng)站上的密碼重置請求。

使用威脅情報(bào)數(shù)據(jù)庫，其中包含所有近期攻擊的詳細(xì)信息、相關(guān)的 IP 地址、位置，無論這些攻擊是機(jī)器還是人為產(chǎn)生的。這個(gè)數(shù)據(jù)庫一直在更新。如果從任何可疑 IP 地址發(fā)出任何請求，該地址將被自動阻止。

傳統(tǒng)WAF與高級WAF比較

與 Indusface 合作進(jìn)行機(jī)器人管理

Web 應(yīng)用程序全天候成為目標(biāo)，黑客正在尋找新的方法來破壞網(wǎng)站并造成混亂。加入 Indusface 完全托管的基于云的 WAF、AppTrana，您不僅可以降低僵尸網(wǎng)絡(luò)的風(fēng)險(xiǎn)，還可以通過阻止惡意機(jī)器人流量來最大限度地減少基礎(chǔ)設(shè)施的處理負(fù)載。

AppTrana采用 WAF 技術(shù)、爬蟲程序緩解和 CDN 編譯，可通過提供準(zhǔn)確且完全托管的基于云的保護(hù)來進(jìn)一步保護(hù)您的應(yīng)用程序完整性，確保為客戶提供安全的在線體驗(yàn)，而不會影響速度。